Презентация к докладу "Методология исследования выдачи Яндекса", который был прочитан на SEO Conference 2015.

1. Методология исследования
выдачи Яндекса
24-25 сентября
SEO Conference 2015

2. Игорь Бакалов
• В клиентском SEO с 2010 года
• Опыт продвижения: более 100 проектов
• Автор блога http://bakalov.info/
• YouTube канал: http://www.youtube.com/user/b7186rft/

3. План доклада:
1) Фильтр за аффилированность сайтов
2) Фильтр за «взрослый» контент
3) Отключение ссылок в Яндексе
4) Определение синонимов

4. Фильтр за аффилированность сайтов
Если Яндекс определяет, что два
сайта принадлежат одной компании,
то они считаются аффилированными,
в итоге в поисковой выдаче по
одному и тому же запросу
отображается только один* из сайтов.

5. Фильтр за аффилированность сайтов
Выдержка из хелпа Яндекс.Вебмастера:
Мы стараемся не индексировать или не
ранжировать высоко: группы сайтов одного
владельца/компании, предоставляющие
пользователю одни и те же товары или
услуги, созданные с целью заполнения
нескольких позиций в результатах поиска и
сбора трафика...
https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml

6. Фильтр за аффилированность сайтов
Выдержка из «Клуба Поиска»:
Один из общих принципов построения качественной
выдачи - обеспечение разнообразия результатов по
запросу. Поисковый алгоритм настроен таким
образом, чтобы это разнообразие обеспечить. Для
этого используются различные подходы и
задействовано множество факторов. Термин "фильтр
аффилированных сайтов" придумали оптимизаторы.
Обычно под ним понимается общий случай отсутствия
сайта в поиске по какому-либо запросу одновременно
с другими сайтами...
http://clubs.ya.ru/search/replies.xml?item_no=482

7. Фильтр за аффилированность сайтов
Однако, Платоны отвечают так:
Приношу извинения за задержку с ответом . К сожалению, никак не
могу прокомментировать "аффилированность" указанных Вами сайтов,
мы не оперируем подобными понятиями.
Или так:
Мы не гарантируем нахождение каких-либо сайтов по тем или иным
запросам в выдаче. Задача Яндекса - показывать пользователям
качественную, разнообразную информацию по теме запроса, и в этом
смысле проблем с указанными Вами запросами не наблюдается. Ваш
сайт хорошо индексируется и находится в поиске в соответствии с его
релевантностью запросам пользователей. Каких-либо ограничений в
его ранжировании с нашей стороны нет. Рассматривать же вопрос,
почему тот или иной конкретный сайт не находится или плохо
находится по тому или иному запросу, почему его место в результатах
поиска изменилось и т.п., с иной целью, нежели улучшение алгоритмов,
мы не можем, эта деятельность выходит за рамки наших задач.

8. Фильтр за аффилированность сайтов
При этом, сравнение позиций двух сайтов как бы намекает…
Запрос Вордстат site-promo.ru site.ru
продвижение сайтов 6446 1
сайтов продвижение 6446 1
продвижение сайта 4855 1
сайта продвижение 4855 3
контекстная реклама 4439 18
реклама контекстная 4439 15
смс рассылка 3501 45
оптимизация 2844 44
раскрутка сайта 2269 17
сайта раскрутка 2269 17
вакансии менеджер по продажам 1884 88
фирменный стиль 1806 29
продвижение 1262 5
работа 63 1128 97
продвижение сайта в топ 10 яндекса цена 1122 99
раскрутка сайтов 959 9
сайтов раскрутка 959 16
услуга это 866 64
оптимизация seo 716 30
продвижение и создание сайтов 714 8
создание и продвижение сайтов 714 3

9. Фильтр за аффилированность сайтов
Как диагностировать фильтр:

10. Фильтр за аффилированность сайтов
Поиск кандидата на аффилированность:
1. Взять основные запросы из СЯ
2. Проверить по ним позиции
3. Выбрать запросы, где сайта нет в топ-50 (топ-100)
4. Для каждого запроса выгрузить топ-10 (топ-30)
5. Модифицировать запросы из СЯ:
Запрос1 ~~ site:domain1.ru
Запрос1 ~~ site:domain2.ru
…
Запрос1 ~~ site:domain10.ru
6. По всем модифицированным запросам проверить позиции
7. Выбрать сайты, при исключении которых есть рост

11. Фильтр за аффилированность сайтов
Как раньше проверяли аффилированность 2 сайтов:
www.domain1.ru |www.domain2.ru
host:domain1.ru | host:domain2.ru
(domain:site1 /+1 domain:ru) | (domain:site2 /+1 domain:ru)
(domain:site1 &/(1 1) domain:ru) | (domain:site2 &/(1 1)
domain:ru)
"запрос" << (url:domain1.ru | url:domain1.ru/)
запрос << (lang:ru ~~ site:domain.ru)
rhost:ru.site1.* | rhost:ru.site2.*
inurl:site1.ru | inurl:site2.ru
…

12. Фильтр за аффилированность сайтов
Рабочий запрос, два аффилированных сайта:
lang:ru ~~ domain:ua << (url:www.demis-promo.ru | url:www.demis.ru)

13. Фильтр за аффилированность сайтов
Рабочий запрос, два НЕ аффилированных сайта:
lang:ru ~~ domain:ua << (url:www.bdbd.ru | url:kokoc.com)

14. Фильтр за взрослый контент
Поиск Яндекса и контент для взрослых
Мы хотим обеспечить всем нашим пользователям, в том числе и тем,
которые не интересуются каким-либо эротическим контентом,
релевантные результаты поиска. [...] Мы считаем, что если в поисковом
запросе явно не выражено намерение найти именно порнографию и
ничего другого, то поисковая машина не должна предлагать в
результатах поиска ссылки на ресурсы с эротическим содержанием.
И ещё:
Для определения «порнографичности» страницы используются, в
первую очередь, тексты и слова, размещенные на этой странице (в том
числе — в ссылках). Используются и многие другие факторы. Например,
если на сайте много страниц «для взрослых», содержащих
соответствующую лексику, то, с большой вероятностью, из результатов
поиска будут отфильтрованы и другие страницы с этого сайта, даже те,
которые такую лексику не содержат.
https://company.yandex.ru/rules/filtration/

15. Фильтр за взрослый контент
Семейный поиск становится лучше
Существенный вклад в качество фильтрации внес алгоритм
обнаружения баннерной рекламы порнографического содержания:
документы, содержащие такую рекламу, мы также удаляем из
результатов "семейного поиска". По нашим данным реклама взрослого
содержания размещена не менее, чем на 50 тысячах сайтов рунета.
И ещё:
Разработанная технология используется также и в большом поиске,
когда в поисковом запросе явно не выражено намерение найти
материалы "для взрослых". В этом случае поисковая система не
предлагает пользователям в результатах поиска ссылки на ресурсы с
подобными материалами.
http://webmaster.ya.ru/7913

16. Фильтр за взрослый контент
Как диагностировать фильтр:
Использовать при поиске GET параметр &family=yes
Без GET параметра &family=yes

17. Фильтр за взрослый контент
Может накладываться на отдельные URL
С использованием GET параметра &family=yes
Без GET параметра &family=yes

18. Фильтр на одинаковые сниппеты
Сайт исчезает из топа по запросу (или нескольким запросам), но при этом в
выдаче по ссылке “Показать все сайты без предпочтения” показывается на
прежнем месте. © E. Камская
Для диагностики используется GET параметр &rd=0
Удобно проверять в KeyCollector:

19. Отключение ссылок в Яндексе
Март 2014, А. Садовский отменяет учет ссылок в
ранжировании коммерческих запросов в Московском регионе:

20. Отключение ссылок в Яндексе
Лето 2014, Сергей Людкевич предлагает
методику проверки отключения ссылочного по
запросам:
http://www.searchengines.ru/articles/est_li_zhizn_po.html
http://www.searchengines.ru/articles/iyunskie_apdeyt.html
http://www.searchengines.ru/articles/metodika_oprede.html
http://www.searchengines.ru/articles/metodika_opredelenia.html
http://www.searchengines.ru/articles/metodika_opredelenia_3.html
http://www.searchengines.ru/articles/otmena_ssylochnogo.html
http://www.searchengines.ru/articles/otmena_ssylok.html
http://www.searchengines.ru/articles/poiskovoe_prodv.html
http://www.searchengines.ru/seoblog/est_li_zhizn_posle.html

21. Отключение ссылок в Яндексе
Суть проверки по методу Людкевича
Найти НЕ в Московской выдаче документ, который:
1. Не является быстроботовской примесью;
2. Имеет сохраненную копию;
3. Не содержит ключевые слова из запроса в URL;
4. В региональной выдаче с пометкой «Ссылки на страницу содержат».
Когда подходящая страница найдена:
1. Сузить поиск до конкретного документа (оператор «URL»);
2. Проверить ищется ли документ в Московском регионе (&lr=213)
Если не ищется – ссылочное по запросу отключено
Если ищется – ссылочное по запросу НЕ отключено

22. Отключение ссылок в Яндексе
Немного занудной теории:
Пусть в документе [d] нет слов из запроса [q]. В этом
случае если рассматривать отдельно «текстовую
релевантность» (TR), то документ по запросу найден не
будет. Однако существует ещё и «линковая
релевантность» (LR), aka «анкорное». Если слова из [q]
есть в текстах ссылок ведущих на [d], то документ будет
найдет в результатах поиска с пометкой «СНСС».
Метод им. Сергея Людкевича позволяет проверить учет LR
в Московском регионе для документов, которые имеют
нулевую TR. При этом проверить «работают ли ссылки»
для документов в которых есть слова из запроса таким
образом невозможно.

23. Отключение ссылок в Яндексе

24. Отключение ссылок в Яндексе
Кворум — необходимая доля суммарного веса (IDF) слов из поискового
запроса, которая должна присутствовать в тексте документа и/или текстах
входящих на него ссылок для попадания в результаты поиска (SERP) ©
Севальнев Дмитрий.
Где: Q — поисковый запрос; q (i) — i-ое слово запроса; w (q(i)) — функция
веса слова; D — обрабатываемый документ.
После того, как все пассажи документа, прошедшие фильтрацию по
кворуму, определены, наступает этап ранжирования, то есть вычисление
веса документа (http://romip.ru/romip2004/07_yandex.pdf).

25. Отключение ссылок в Яндексе
Возьмем коммерческий запрос [купить пластиковые
окна], по которому методика С. Людкевича
показывает, что ссылочное ранжирование отключено.
Рассмотрим 3 случая:
1. В документе «A» нет слов из запроса, но все слова есть в
тексте входящей ссылки на документ.
2. В документе «B» есть одно слово «купить», а слов
«пластиковые» и «окна» нет. На документ нет входящих
ссылок со словами из запроса.
3. В документе «C» есть одно слово «купить» и все слова из
запроса есть в тексте входящей ссылки на документ.

26. Отключение ссылок в Яндексе
Случай №1, регион «Нижний Новгород»:
Случай №1, регион «Москва»:

27. Отключение ссылок в Яндексе
Случай №2, регион «Нижний Новгород», ищем просто слово
«купить»
Случай №2, регион «Нижний Новгород», ищем фразу «купить
пластиковые окна»

28. Отключение ссылок в Яндексе
Случай №3, регион «Нижний Новгород»:
Случай №3, регион «Москва»:

29. Определение синонимов в Яндексе
Синонимы — слова, различные по звучанию, но
тождественные или близкие по смыслу, а также
синтаксические и грамматические конструкции,
совпадающие по значению. Синонимы бывают полные и
частичные. © Современная энциклопедия, 2000
Примеры синонимов:
• бегемот — гиппопотам
• языкознание — языковедение
• помидор — томат
• пианино — фортепиано
Ни одна из этой пары не является «синонимом» для
Яндекса… Как определить?

30. Определение синонимов в Яндексе
Чтобы проверить являются ли «слово 1» синонимом
«слову 2» необходимо найти документ, который:
1. Проиндексирован в Яндексе
2. Содержит в контенте «Слово 1»
3. Не содержит в контенте «Слово 2»
4. Не содержит в ЧПУ кириллицу/транслит «Слово 2»
5. Не содержит в анкор-файле «Слово 2»
6. Проверить, ищется ли URL по «Слово 2»
Если URL по «Слово 2» нашелся, то значит «Слово 1» и
«Слово 2» являются для Яндекса синонимами. В
противном случае – не являются.

31. Определение синонимов в Яндексе
Рассмотрим на примере:
Задаем в Яндекс запрос [бегемот ~~ гиппопотам]
Выбираем несколько результатов, где нет вхождения
в «гиппопотам» в URL, например:
• http://www.eradetstva.ru/category497.html
• http://www.berl.ru/article/beno/be/begemot.htm
Для каждого URL проверяем наличие слова
«гиппопотам» в анкор-файле 

32. Определение синонимов в Яндексе
Поиск по анкор-файлу, запрос вида:
[url:site.ru/page.html << inlink:запрос]
© Сергей Людкевич
Для первого URL видим, что слово «гиппопотам» есть в
анкор-файле, т.е. URL нам не подходит:
Со вторым URL всё ок, слова «гиппопотам» в анкорах нет:

33. Определение синонимов в Яндексе
Заключительный шаг – проверить ищется ли выбранный
URL по запросу [гиппопотам], запрос вида:
[запрос url:site.ru/page.html]
Для рассматриваемого пример получаем:
Вывод: для Яндекса слова «бегемот» и «гиппопотам» НЕ
являются синонимами. Зато например синонимами
является связка «блог» / «жж».

34. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 3 слово 4».
По описанной выше методике синонимами не являются:
«Отели» и «Гостиницы», документ ищется по [Отели]:
Но не ищется по [Гостиницы]:

35. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 3 слово 4».
По описанной выше методике синонимами не являются:
«Голландия» и «Нидерланды», документ ищется по
[Голландия]:
Но не ищется по [Нидерланды]:

36. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 3 слово 4».
Но этот же, документ в котором нет ни «Гостиницы», ни
«Нидерланды»:
Ищется по запросу [гостиницы нидерланды], т.к. есть
вхождения «Отели Голландии»:

37. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».
Рассмотрим два запроса: «цифровое фортепиано» и
«цифровое пианино». Убедимся, что «фортепиано» и
«пианино» не синонимы. По [фортепиано] получаем:
По [пианино] этот же документ не ищется:

38. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».
Найдем документ, где есть вхождение «цифровое
пианино» без «фортепиано»:
Проверим, ищется ли этот URL по [цифровое фортепиано]:

39. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».

40. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».
Гипотеза: А что если «цифровое фортепиано» и
«цифровое пианино» вовсе не синонимы, а просто вес
слова «цифровое» достаточно, чтобы пройти кворум?
Первый способ убедиться, что это не так – найти
документ, в котором встречается «цифровое», но без
«пианино», или «фортепиано»:

41. Определение синонимов в Яндексе
Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».
Для полученного URL проверить, ищется ли он по
[пианино] или [фортепиано]:
В качестве более простого метода можно использовать
GET параметр &nosyn=1:

42. Определение синонимов в Яндексе
Возможные ошибки при определении синонимов:
Ошибка №1. «Подсветка» != «Синоним»
Выдача по запросу [кемпер]

43. Определение синонимов в Яндексе
Возможные ошибки при определении синонимов:
Ошибка №2. GET параметр &nosyn=1 – не панацея.
Выдача по запросу [террасная доска]:
Выдача по этому же запросу, но с &nosyn=1:

44. Определение синонимов в Яндексе
Возможные ошибки при определении синонимов:
Ошибка №2. GET параметр &nosyn=1 – не панацея.
Документ, где нет «декинг», но есть «террасная доска»:
Этот документ по запросу [декинг] не ищется:

45. Определение синонимов в Яндексе
Возможные ошибки при определении синонимов:
Ошибка №2. GET параметр &nosyn=1 – не панацея.
По [террасная декинг] тоже не ищется:
Как и по [доска декинг]:

46. Спасибо за внимание!
Игорь Бакалов
Подписывайтесь на мой блог:
http://bakalov.info/
И добавляйтесь в социальных сетях:
https://www.youtube.com/user/b7186rft
https://www.facebook.com/bakalov.igor
https://twitter.com/Bakalov_Igor
http://www.slideshare.net/b7186rft